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(57) Abstract: The invention relates to a method for transmitting and reproducing image data (10) according to which said image 
data are transmitted to a communication terminal (8) and are represented by image reproducing devices (85), the current viewing 
direction (A) of the user (9) of the communication terminal being determined. First image data (25) are transmitted by a first trans- 
mission channel (4), for example via DVB, at low resolution, while second image data (21, 24) that correspond to the image areas 
^j. that are viewed by the user currently or in the future are transmitted by a second transmission channel (7) at a higher resolution. The 
first and second image data are superimposed in the telecommunication terminal and are represented simultaneously. 



1^ (57) Zusammenfassung: Verfahren zur Ubermittlung und Darstellung von Bilddaten (10), in welchem die benannten Bilddaten 
an ein Kommunikationsendgerat (8) ubertragen und von Bildwiedergabemitteln (85) dargestellt werden, wobei die aktuelle Be- 
trachtungsrichtung (A) des Kommunikationsendgerat-Benutzers (9) bestimmt wird. Erste Bilddaten (25) werden mit einer geringen 
Auflosung durch einen ersten Ubertragungskanal (4), beispielsweise iiber DVB, ubertragen, wahrend zweite Bilddaten (21, 24), die 
den vom Benutzer aktuell oder kunftig betrachteten Bildbereichen entsprechen, mit einer hoheren Auflosung durch einen zweiten 
Ubertragungskanal (7) ubertragen werden. Die ersten und zweiten Bilddaten werden im Telekommunikationsendgerat uberlagert 

)^ und gleichzeitig wiedergegeben. 
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Verfahren fur die Ubermittlung von Bilddaten 

Die vorliegende Erfindung betrifft ein Verfahren fur die Uber- 
mittlung von Biiddaten sowie dafur geeignete Vorrichtungen. 

Bilddaten, insbesondere digitale Daten, die einem Benutzer mit 
5 geeigneten Wiedergabemitteln als Bilder dargestellt werden konnen, 
werden oft vor deren Ubertragung komprimiert um die Ubertragungs- 
zeiten zu reduzieren und vor oder wahrend der Wiedergabe dekompri- 
miert. Verschiedene Standards fur die Komprimierung und Dekomprimie- 
rung von Bilddaten, beispielsweise die verschiedenen MPEG-Standards 
10 (Moving Pictures Expert Group), wurden bereits beschrieben. 

Die Patentanmeldung W098/33315 (University of Texas) be- 
schreibt ein anderes Bilddatenkomprimierungsverfahren, welches auf der 
physiologischen Eigenschaft der menschlichen Augen basiert, die eine 
maximale Auflosung nur in dem Bereich des Bildes benotigen, der auf die 

15 Fovea des Auges projektiert wird (Betrachtungsbereich). Randliche Bild- 
bereiche konnen ohne feststellbaren Qualitatsverlust mit einer geringeren 
Auflosung wiedergegeben werden. Diese Patentanmeldung schlagt daher 
vor, den vom Benutzer betrachteten Bildbereich kontinuierlich zu ermitteln 
und nur fur diesen Bildbereich die maximale Auflosung zu verwenden, 

20 wahrend fur die weiter entfernten Bereiche eine geringere Auflosung ein- 
gesetzt wird. Der betrachtete Bildbereich betragt typischerweise nur ca. 
zwei Prozent des gesamten Bildes. Das auf diese Weise stark komprimierte 
Bild wird dann uber einen Ubertragungskanal zwischen zwei Rechnern 
ubertragen. 

25 Dieses Verfahren eignet sich insbesondere fur die Ubertragung 

von Bildern, die fur die Darstellung auf einer kleinen Anzeige bestimmt 
sind, beispielsweise auf dem Bildschirm eines Burorechners. Wenn sich der 
Betrachtungspunkt rasch bewegen kann, beispielsweise bei sehr breiten 
Bildformaten oder bei ruckartigen Bewegungen der Pupille, kann es jedoch 

30 passieren, dass die Reaktionszeit des Systems zu langsam ist, so dass sich 
plotzlich Bildbereiche mit schlechter Auflosung im Mittelpunkt des be- 
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trachteten Bereichs befinden konnen. Ausserdem eignet sich dieses Ver- 
fahren nicht fur die gleichzeitige Aussendung von Bilddaten an eine Viel- 
zahl von Benutzem. 

Es ist ein Ziel dieser Erfindung, ein neues und besseres Verfahren 
fur die Komprimierung und Obertragung von Bildern vorzuschlagen, 
insbesondere ein Verfahren, bei welchem die oben angegebenen Nachteile 
vermieden werden konnen. 

Gemass der vorliegenden Erfindung wird dieses Ziel insbesondere 
durch die Elemente der unabhangigen Anspruche erreicht. Weitere vorteil- 
hafte Ausfuhrungsformen gehen ausserdem aus den abhangigen An- 
spriichen und der Beschreibung hervor. 

Insbesondere werden diese Ziele mit einem Verfahren zur Ubermittlung 

und Darstellung von Bilddaten erreicht, in welchem 

die benannten Bilddaten von einer Aussendevorrichtung an mindestens 
ein Kommunikationsendgerat ubertragen und von Bildwiedergabe- 
mitteln im benannten mindestens einen Kommunikationsendgerat 
dargestellt werden, wobei die aktuelle Betrachtungsrichtung des Kom- 
munikationsendgerat-Benutzers bestimmt wird, 
erste Bilddaten, die dem ganzen Bildbereich entsprechen, mit einer 
geringen Auflosung durch einen ersten Ubertragungskanal ubertragen 
werden, 

die benannte aktuelle Betrachtungsrichtung (22) durch einen Ruckkanal 
an die benannte Aussendevorrichtung (1) gesendet wird, 
zweite Bilddaten, die dem vom Benutzer aktuell betrachteten Bild- 
bereich entsprechen, mit einer hoheren Auflosung durch einen zweiten 
Ubertragungskanal ubertragen werden, und 

die benannten ersten und zweiten Bilddaten uberlagert und gleich- 
zeitig wiedergegeben werden. 
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Dies hat den Vorteil, dass die ersten Bilddaten durch einen ersten 
Ubertragungskanal (beispielsweise einen Broadcastkanal) ubertragen 
werden, wahrend nur die zweiten Bilddaten, die dem aktuell betrachteten 
Bildbereich entsprechen, durch einen zweiten Ubertragungskanal, (bei- 
spielsweise ein kostspieliges bidirektionales Mobilfunknetz) ubertragen 
werden. Damit kann fur die Randbereiche eine hohere Auf losung als in der 
erwahnten Patentanmeldung W098/33315 verwendet werden, ohne dass 
die Datenmenge die durch das kostenpflichtige Mobilfunknetz ubertragen 
wird erhoht wird. 

Durch den Broadcastkanal konnen somit gleiche Bilddaten mit 
einer niedrigen Auf losung an alle Benutzer gesendet werden, wahrend 
Bilddaten, die dem vom einzelnen Benutzer betrachteten Bildbereich ent- 
sprechen mit einer hoheren Auflosung durch den zweiten Obertragungs- 
kanal personlich an jeden Benutzer gesendet werden. 

Nachfolgend wird eine Ausfuhrung der vorliegenden Erfindung 
anhand eines Beispieles beschrieben. Das Beispiel der Ausfuhrung wird 
durch folgende beigelegte Figuren illustriert: 

Figur 1 zeigt ein Blockschema des erfindungsgemassen Systems. 

Figur 2 zeigt schematisch die Segmentierung des Bitmaps, 

Figur 3 zeigt den durch die Augenphysiologie bedingten 
Auflosungsbedarf beim Betrachten von Bilddaten durch mehrere Benutzer. 

In der Figur 1 bezieht sich das Bezugszeichen 1 auf eine Aus- 
sendevorrichtung, die beispielsweise aus einem handelsiiblichen Kommuni- 
kations-Server bestehen kann, der uber Hard- und Softwarekomponenten 
verfugt, um uber zwei verschiedene Ubertragungskanale 4, 7 mit einer Viel- 
zahl von Kommunikationsendgeraten 8 zu kommunizieren. Das Bezugs- 
zeichen 10 bezieht sich auf Bilddaten, zum Beispiel auf digitale Datenfiles, 
deren Inhalt mit geeigneten Wiedergabemitteln einem Benutzer 9 als 
Bilder, beispielsweise als statische oder vorzugsweise animierte Bilder, dar- 
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gestellt werden kann. Die Bilddaten konnen beispielsweise einer digitali- 
sierten Bildsequenz entsprechen (beispielsweise ein Spielfilm oder eine 
Fernsehsendung), oderanderen Multimedia-Daten, beispielsweise HTML- 
Daten die feste und/oder animierte Bilddaten und/oder Tondaten enthal- 
ten. In einer Variante der Erfindung werden die Bilddaten 10 im besonders 
interessanten Bildbereich und Bildausschnitte, auf welche Betrachter mit 
hoher Wahrscheinlichkeit den Blick richtet, speziell markiert, wie spater 
erlautert. 

Die Sequenz von Bilddaten wird durch einen nicht dargestellten 
Sequenzer in der Aussendevorrichtung 1 sequentiell gelesen, wobei die 
Sequenz optional vom Benutzer 9 gesteuert werden kann, beispielsweise 
im Falle von Bilddaten mit Hypertext-Steuerelementen. Der Sequenzer 
kann beispielsweise aus einem Hardware und/oder Software Modul be- 
stehen, das die Bilder der Bildsequenz liest und an ein (optionales) 
Segmentierungsmodul 2 weiterleitet. 

Das Segmentierungsmodul 2 teilt das Bild in verschiedene Seg- 
mente auf, wie auf der Figur 2 dargestellt. Dazu verwendet es Angaben A 
uber die aktuelle Betrachtungsrichtung der einzelnen Betrachter 9, 
beispielsweise die Koordinaten x # y aller Punkte 22, auf welche die 
Blickrichtung von mindestens einem Benutzer 9 aktuell gerichtet ist. 
Vorzugsweise werden ausserdem ein oder mehrere Verschiebungsvektoren 
23 welche der Geschwindigkeit der aktuell betrachteten Punkte 22 
entsprechen empfangen oder im Segmentierungsmodul ermittelt,. 

Das Segmentierungsmodul 2 bestimmt anhand dieser Angabe A 
den oder die Bereiche 21, die aktuell von mindestens einem Benutzer 9 be- 
trachtet werden. Wie spater erlautert, werden diese Bereiche mit einer 
hoheren Auflosung komprimiert und an den entsprechenden Benutzer 
uber den Obertragungskanal 7 ubertragen. Das gesamte Bild, einschliesslich 
der Randbereiche 25, wird mit einem anderen Algorithmus und mit einer 
geringeren Auflosung komprimiert und an alle Benutzer uber den 
Obertragungskanal 4 ausgesendet. Die Grosse jedes Bereichs 21 kann vor- 
zugsweise an die Bandbreite des Ubertragungskanals 7 angepasst werden. 
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Typischerweise wird die Grosse jedes hochkomprimierten Bereiches 21 ca. 2 
bis 4 Prozent des gesamten Bildes entsprechen. 

In einer bevorzugten Variante versucht ausserdem das Segmen- 
tierungsmodul 2 einen oder mehrere Betrachtungsbereiche 24 im voraus zu 
bestimmen. Zu diesem Zweck kann das Segmentierungsmodul beispiels- 
weise die mit dem Verschiebungsvektor 23 angegebenen Blickbewegun- 
gen, die Bewegung des betrachteten Objekts oder der Person auf dem Bild 
und/oder speziell markierte Abschnitte in den Bilddaten, beispielsweise 
Hyperlinks im Falle von multimedialen Bilddaten, berucksichtigen. Das Seg- 
mentierungsmodul 2 kann beispielsweise nacheinanderfolgende Positionen 
der Augen und/oder des betrachteten Objekts auf dem Bild speichern und 
die nachste zu erwartende Betrachtungsrichtung beispielsweise mittels 
geeigneten Regressionsfunktionen vorausbestimmen, wobei bestimmte oft 
betrachtete Bereiche manuell markiert werden konnen. 

In der auf der Figur 2 dargestellten Variante sind die verschie- 
denen Bildbereiche 21, 24, 25 rechteckig. Sie konnten jedoch auch eine 
andere Form und unterschiedliche Grossen haben und sich teilweise oder 
ganz uberlappen. 

Die sich entfernt vom Betrachtungspunkt befindenden Bildbe- 
reiche 25 werden an ein erstes Kodierungsmodul 3 gesendet, wo sie bei- 
spielsweise mit einem MPEG-Algorithmus oder im Fall von statischen 
Bildern mit einem JPEG- oder GIF Algorithmus komprimiert werden. Das 
erste Kodierungsmodul 3 verwendet vorzugsweise raumliche, zeitliche und 
Chrominanz-Komprimierungsverfahren. Ausserdem fuhrt das erste 
Kodierungsmodul vorzugsweise eine Fehlerkodierung und eine 
Kanalkodierung durch. 

Die vom Kodierungsmodul 3 kodierten Bildbereiche werden dann 
von einem Sender 4 im Broadcast-Modus ausgesendet und konnen somit 
von einer Vielzahl von Empfangern 8 mittels einzelnen Broadcast- 
Empfanger 80 empfangen werden. Der Sender 4 kann beispielsweise die 
Daten als DAB oder DVB (Digital Audio Broadcasting bzw. Digital Video 
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Broadcasting)-Bilddaten, als Fernsehdaten, beispielsweise digital kodierte 
Fernsehdaten, oder als TCP~IP-Daten uber das Internet, usw., aussenden. 
Die vom Kodierungsmodul 3 vorbereiteten Daten konnen sogar auf magne- 
tische und/ oder optische Datentrager kopiert werden, beispielsweise auf 
CD oder auf DVD # und auf diese Weise vertrieben und von einer Vielzahl 
von Benutzern kauflich erworben werden. 

Die vom ersten Empfanger 80 im Kommunikationsendgerat 8 
empfangenen Bilddaten werden in einen ersten Cachespeicher 81 kopiert, 
wobei vorzugsweise Bildbereiche 25 aus mehreren aufeinanderfolgenden 
Einzelbildern gespeichert werden. Auf diese Weise konnen variable Gber- 
tragungszeiten durch die beiden Ubertragungskanale 4 und 7 ausgeglichen 
werden. 

Die vom Segmentierungsmodul selektierten Daten aus den 
aktuell und kunftig betrachteten Bildbereichen 21 und 24 werden an ein 
zweites Kodierungsmodul 5 geleitet, das jeden aktuell oder kunftig be- 
trachteten Bereich 21, 24 mit einer fovealen Komprimierungsfunktion 
komprimiert, das heisst mit einer Funktion, die als Ergebnis Bilddaten mit 
einer hoheren Auflosung im Nahbereich des betrachteten Punktes 22 als in 
den weiter entfernten Bildbereichen liefert, wie dies in der oben angege- 
benen Patentanmeldung W098/33315 beschrieben ist. In einer bevorzugten 
Variante der Erfindung konnen mindestens gewisse Parameter der fovealen 
Funktion von der Bandbreite des zweiten Ubertragungskanals abhangig 
sein. Ausserdem fuhrt das zweite Kodierungsmodul 5 vorzugsweise eine 
Fehlerkodierung und eine Kanalkodierung durch. 

Jeder vom zweiten Kodierungsmodul 5 kodierte Bildbereich 21 
wird durch einen zweiten Ubertragungskanal 7 an alle Benutzer 9 ge- 
sendet, die gerade diesen Bildbereich betrachten und konnen somit von 
diesen Benutzern mittels zweiten Empfangern 83 (beispielsweise Mobil- 
funkendgeraten) in Kommunikationsendgeraten 8 empfangen werden. Der 
zweite Ubertragungskanal 7 ist ein bidirektionaler Kommunikationskanal, 
welcher nahezu Echtzeitverbindungen erlaubt, beispielsweise ein offent- 
liches geschaltetes Telefonnetz, beispielsweise ein digitales Mobilfunknetz, 
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beispielsweise gemass GSM oder UMTS, oder ein Fixnetz, beispielsweise ge- 
mass ISDN, oder ein TCP-IP Netz, beispielsweise Internet. 

In einer nicht dargestellten Variante der Erfindung wird auf das 
Segmentierungsmodul 2 verzichtet und die gesamten einzelnen Bilder 10 
5 werden an die beiden Kodierungsmodule 3 und 5 geleitet. Das erste Kodie- 
rungsmodul 3 kann in diesem Fall ein standardisiertes Modul sein, das alle 
Bereiche 21, 24 und 25 aller einzelnen Bilder komprimiert Das zweite 
Kodierungsmodul 5 kann nach einer fovealen Funktion die gesamten Bilder 
komprimieren. 

10 Die Kommunikationsendgerate 8 sind vorzugsweise personlich 

tragbar, elektrisch autonom und werden vorzugsweise als Taschengerat 
hergestellt. In der Ausfuhrungsvariante, in der das Telekommunikations- 
netz 7 ein Mobilfunknetz ist, sind mindestens gewisse der Kommunikati- 
onsendgerate 8 Mobilfunkgerate, beispielsweise Mobilfunktelefone oder 

15 kommunikationsfahige Laptop oder Palmtop Computer, die auch einen 
Broadcast-Empfanger 80 beinhalten. Solche kombinierte Kommunikations- 
endgerate wurden beispielsweise in den Patentanmeldungen WO99/60712 
und WO99/60713 (beide im Namen der Swisscom AG) bereits beschrieben. 
Das Mobilfunkendgerat 83 kann beispielsweise unter Zuhilfenahme von 

20 GPRS-Diensten (Generalized Packet Radio Service), oder gemass einem ge- 
eigneten Protokoll im Nutzkanal, Daten uber das Mobilfunknetz 7 aus- 
tauschen. Der erste Empfanger 80, beispielsweise ein DVB-Empfanger, und 
der zweite Empfanger 83, beispielsweise ein UMTS-Endgerat, sind vorzugs- 
weise in einer einzigen Einheit (beispielsweise in einem einzigen Gehause) 

25 kombiniert, konnen aber als Variante auch in mehreren miteinander ver- 
bundene Einheiten integriert werden. Im letzten Fall konnen die beiden 
Einheiten vorzugsweise uber eine kontaktlose Schnittstelle, beispielsweise 
gemass IrdA, BlueTooth oder HomeRF, verbunden werden. 

Die vom zweiten Empfanger 83 im Kommunikationsendgerat 8 
30 empfangenen Bilddaten werden in einen zweiten Cachespeicher 84 

kopiert, wobei vorzugsweise mehrere aufeinanderfolgende Bildbereiche 21 
bzw. 24 im zweiten Cachespeicher 84 gespeichert werden. 
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Ein Uberlagerungsmodul 82 im Kommunikationsendgerat 8 liest 
die Bilddaten in den beiden Cachespeichern 81 und 84 und uberblendet sie. 
Zu diesem Zweck tragt vorzugsweise jeder Bildbereich 21 , 24 # 25 in den 
beiden Cachespeichern eine Nummer die angibt zu welchem Einzelbild er 

5 gehort, damit unterschiediiche Ubertragungszeiten durch die beiden Uber- 
tragungskanale 4 und 7 ausgegiichen werden konnen. Der vom Modul 82 
selektierte Bildbereich 21, 24 im zweiten Cachespeicher 84 wird abhangig 
vom aktuell betrachteten Bildbereich ausgewahlt. 1st der Cachespeicher 
gross genug, kann er auch verwendet werden, um das Lesen der gespei- 

10 cherten Bilddaten durch entsprechende Benutzerbefehle zu pausieren, 
wiederzustarten, und/oder ruckwarts und vorwarts zu spulen. 

Die Bildsignale die den vom Modul 82 gemischten Bilddaten ent- 
sprechen, konnen dann durch eine Anzeigevorrichtung 85 des Kommuni- 
kationsendgerat 8 wiedergegeben werden. In einer bevorzugten Variante 

15 der Erfindung besteht die Anzeigevorrichtung aus einer sogenannten 

Virtuellen Retinalen Anzeigevorrichtung (VRD), die die Bildsignale auf die 
Retina des Auges des Benutzers 9 des Kommunikationsendgerats 8 pro- 
jektiert Solche VRD-Anzeigevorrichtungen wurden in den Patentanmel- 
dungen WO 94/09472 und WO 97/37339 beschrieben. Uber eine passende 

20 Schnittstelle kann die Anzeigevorrichtung 85 mit Bilddaten in ver- 
schiedenen Formaten versorgt werden. 

Die Anzeigevorrichtung 85 und die weiteren Komponenten des 
Kommunikationsendgerats 8 konnen in gemeinsame oder separate 
Einheiten implementiert werden, wobei die Anzeigevorrichtung 85 in einer 
25 ersten Einheit beispielsweise uber eine drahtgebundene oder uber eine 
drahtlose Schnittstelle mit Komponenten der zweiten Einheit verbunden 
werden kann. 

Wie in der Figur 1 schematisch dargestellt, umfasst das Kommuni- 
kationsendgerat 8 ein Betrachtungsrichtungsmessmodul 86, welches die Be- 
30 trachtungsrichtung x, y des Benutzers 9 bestimmen kann. Ein solches Be- 
trachtungsrichtungsmessmodul (Eye Tracking System ETS) wurde ebenfalls 
in der oben erwahnten Patentanmeldung WO 94/09472 beschrieben. Die 
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Angabe A uber die Betrachtungsrichtung x f y wird an das Modul 82 ge- 
leitet, welches damit wie schon erwahnt bestimmen kann, welcher Bildbe- 
reich 21, 24 aus dem zweiten Cachespeicher 84 gelesen werden soli. An- 
schliessend wird diese Angabe A an den Sender-Empfanger 83 geleitet, 
durch ein nicht dargestelltes Modul mit benutzerspezifischen Angaben ver- 
knupft und in Echtzeit vom Sender-Empfanger 83 uber den Ruckkanal des 
zweiten Ubertragungskanals 7 an die Aussendevorrichtung 1 weiterge- 
leitet. Je nach Art des zweiten Obertragungskanals konnen diese Angaben 
A beispielsweise als USSD-Meldung oder vorzugsweise uber den Nutz- oder 
Datenkanal ubertragen werden. 

In einer Ausfuhrungsvariante wird die Betrachtungsrichtung 
vorzugsweise mittels eines an einer Brille montierten Messmoduls 
gegenuber den Benutzerkopf gemessen, in dem vorzugsweise die Position 
der Pupille von mindestens einem Auge gemessen wird. 

In einer anderen Ausfuhrungsvariante wird die 
Betrachtungsrichtung vorzugsweise mittels eines an einer Brille montierten 
Messmoduls gegenuber den Benutzerkopf gemessen und die Position 
und/oder die Orientierung des Kopfes des Benutzers 9 gegenuber einer 
Referenzwelt mittels eines Messsystems, vorzugsweise ein auf den 
Benutzerkopf montiertes innertielles System, gemessen. So konnen dem 
Benutzer 9 Bilddaten projiziert werden, die grosser als sein gesamter 
Blickwinkel sind und deren Inhalt sich bewegt wenn der Benutzer den Kopf 
dreht. Somit wird die aktuell Betrachtungsrichtung 22 mit dem gultigen 
betrachteten Bereich 21 verbunden. Mit diesem Verfahren konnen einem 
Benutzer sehr weitwinklige Filme dargestellt werden. 

Die benannten zusatzlichen benutzerspezifischen Angaben, die 
ahnlich wie die Betrachtungsrichtung A zurucksendet werden, umfassen 
vorzugsweise eine Benutzeridentifizierung, die beispielsweise in einem 
personlichen Identifizierungsmodul 830 (beispielsweise einer SIM-Karte) 
abgelegt sind. Ausserdem konnen diese zusatzlichen Angaben andere 
Befehle vom Benutzer 9 enthalten (beispielsweise einen vom Benutzer 
selektierten URL falls das dargestellte Bild Hyperlinks enthalt) oder andere 
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Selektionen in Menus. Diese zusatzlichen Angaben konnen zusammen oder 
getrennt ubertragen werden. Mindestens gewisse zusatzliche Angaben 
konnen verschlusselt und/oder elektronisch signiert werden. 

In der Aussendevorrichtung 1 wird die empfangene Angabe A 
uber den aktuell betrachteten Punkt x, y vom Segmentierungsmodul 2 dazu 
verwendet den aktuell betrachteten Bildbereich 21 zu bestimmen und ge- 
gebenenfalls um den kunftigen Bildbereich 24 vorauszubestimmen und um 
diese Bildbereiche 21 # 24 zum Kodierungsmodul 5 zu leiten. 

Die als zusatzliche Angabe ubermittelte Benutzeridentifizierung 
kann von einem aussenderseitigen Verrechnungszentrum 6 verwendet 
werden, welches das Betrachten der Bilddaten verrechnen kann. Der ver- 
rechnete Betrag kann beispielsweise direkt einem auf dem Identifizierungs- 
modul 830 gespeicherten vorausbezahlten Geldbetrag, einem Bankkonto, 
einer Kreditkarte oder durch Rechnungsstellung (beispielsweise als Teil der 
Telefonrechnung) belastet werden und dabei beispielsweise pro Zeiteinheit 
der bezogenen Bilddaten, per bezogenem Titel, per zusatzlichen Angaben 
oder Seiten, und/oder in Kombination mit einem Abonnement verrechnet 
werden. Benutzerspezifische Einstellungen fur die Rechnung (beispiels- 
weise die bevorzugte Rechnungsadresse und Rechnungsart) konnen im 
Verrechnungszentrum in einer Benutzerdatenbank 80 abgelegt werden. 
Das Verrechnungszentrum kann in die Aussendevorrichtung 1 integriert 
werden, oder als Variante von einem anderen Institut (beispielsweise vom 
Betreiber des Netzes 7) verwaltet werden. 

Auswahlbefehle und Instruktionen, die vom Benutzer 9 des 
Kommunikationsendgerats 8 eingegeben und als zusatzliche Angaben uber 
den zweiten Ubertragungskanal 7 ubermittelt werden, werden vom be- 
nannten nicht dargestellten Sequenzer entgegengenommen und weiter- 
verarbeitet, so dass beispielsweise vom Benutzer angeforderte Bilddaten, 
beispielsweis Untertitel, HTML oder WML-Seiten, Tonsequenzen, usw., 
bezogen und uber die beiden Ubertragungskanale an das Kommuni- 
kationsendgerat 4 ubertragen werden. 
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Diese Erfindung eignet sich insbesondere fur die gleichzeitige 
Ubertragung von Bilddaten 1 (beispielsweise Spielfilme oder Fernseh- 
sendungen) an eine Vielzahl von Benutzern 9, wobei gemeinsame Daten 
durch einen Broadcastkanal 4 ausgesendet werden wahrend Daten, die von 

5 der persdnlichen Betrachtungsrichtung abhangig sind, durch einen 

adressierten Kanal 7 ubertragen werden. Sie kann jedoch auch fur Video- 
konferenzen oder fur die Telefonie mit Bildubertragung zwischen zwei 
Partnern eingesetzt werden, Somit wird die Obertragung der Bilddaten mit 
Rucksicht auf den durch die Augenphysiologie bedingten Auflosungsbedarf 

10 im Rahmen einer vordefinierten, maximalen Bandbreite der 
Kommunikationskanale 4 und 7 angepasst. 

Obwohl diese Erfindung in mehreren Details den speziellen Fall 
der Ausfuhrung in einem GSM-Mobilfunknetz beschreibt, wird der Fach- 
mann verstehen, dass dieses Verfahren auch mit anderen Typen von 
15 mobilen und Fix-Netzen, beispielsweise mit AMPS, TDMA, CDMA, TACS f 
PDC, HSCSD, GPRS, EDGE oder UMTS-Mobilfunknetzen eingesetzt werden 
kann, insbesondere mit WAP- (Wireless Application Protocol) fahigen 
Mobilfunknetzen, Diese Erfindung kann ausserdem in anderen Netzen, 
insbesondere im Internet, verwendet werden. 



20 
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Anspruche 

1. Verfahren zur Obermittlung und Darstellung von Bilddaten 
(20), in welchem die benannten Bilddaten von einer Aussendevorrichtung 
(1) an mindestens ein Kommunikationsendgerat (8) ubertragen und von 
Bildwiedergabemitteln (85) dargestellt werden, wobei die aktuelle Be- 
trachtungsrichtung des Kommunikationsendgerat-Benutzers (9) bestimmt 
wird # 

dadurch gekennzeichnet, dass erste Bilddaten (25) mit einer 
geringen Auflosung durch einen ersten Ubertragungskanal ubertragen 
werden, 

dass die benannte aktuelle Betrachtungsrichtung (22) durch einen Ruck- 
kanal an die benannte Aussendevorrichtung (1) gesendet wird, 

dass zweite Bilddaten (21, 24), die den von dem benannten 
mindestens einen Benutzer aktuell oder kunftig betrachteten Bildbereichen 
entsprechen, rnit einer hoheren Auflosung durch einen zweiten Uber- 
tragungskanal ubertragen werden, 

und dass die benannten ersten und zweiten Bilddaten im be- 
nannten Kommunikationsendgerat uberlagert und gleichzeitig wiederge- 
geben werden. 

2. Verfahren gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass die benannten Bilddaten von den benannten Bild- 
wiedergabemitteln (85) auf die Retina des benannten Benutzers (9) projek- 
tiert werden. 

3. Verfahren gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass der benannte betrachtete Bildbereich (21) der Bild- 
bereich ist, der auf die Fovea der genannten Retina projektiert werden soil. 

4. Verfahren gemass einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dass die Grosse des benannten betrachteten 
Bildbereiches (21) angepasst werden kann. 
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5. Verfahren gemass einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dass die Grosse des benannten betrachteten 
Bildbereiches (21) an die Bandbreite des benannten zweiten 
Ubertragungskanals (7) angepasst werden kann. 

6. Verfahren gemass einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dass die benannten ersten Bilddaten (25) im 
Broadcast-Modus durch den benannten ersten Ubertragungskanal (4) 
ubertragen werden. 

7. Verfahren gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass die benannten ersten Bilddaten (25) als DVB-Daten 
ubertragen werden. 

8. Verfahren gemass einem der Anspruche 1 bis 4 # dadurch 
gekennzeichnet dass die benannten ersten Bilddaten (25) auf magnetische 
und/oder optische Datentrager kopiert und vertrieben werden. 

9. Verfahren gemass einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dassTondaten durch den benannten ersten 
Ubertragungskanal (4) simultan zu den benannten ersten Bilddaten (25) 
ubertragen werden und vom benannten Kommunikationsendgerat (8) 
wiedergegeben werden. 

10. Verfahren gemass einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dass der benannte zweite Obertragungskanal (7) 
bidirektional ist, und dass der benannte Ruckkanal der Ruckkanal dieses 
benannten bidirektionalen zweiten Ubertragungskanals (7) ist. 

11. Verfahren gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass der benannte zweite Ubertragungskanal (7) ein 
offentliches geschaltetes Telefonnetz umfasst. 

12. Verfahren gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass das benannte Telefonnetz ein Mobilfunknetz ist. 
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13. Verfahren gemass einem der Anspruche 1 bis 10, dadurch 
gekennzeichnet, dass der benannte zweite Ubertragungskanal (7) ein TCP- 
IP Netz umfasst. 

14. Verfahren gemass einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dass Benutzeridentifizierungsdaten durch den 
benannten Ruckkanal zu einem Verrechnungszentrum (6) gesendet werden 
und von diesem Verrechnungszentrum fur die Verrechnung der dargestell- 
ten Bilder verwendet wird. 

15. Verfahren gemass einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dass zusatzliche vom benannten mindestens 
einem Benutzer angefragte Multimediadaten durch den benannten 
zweiten Ubertragungskanal (7) gesendet werden. 

16. Verfahren gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass die benannten zusatzlichen Multimediadaten dem 
mit dem Auge selektierten Hyperlink im dargestellten Bild entsprechen. 

17. Verfahren gemass einem der vorhergehenden Anspruche, da- 
durch gekennzeichnet, dass die benannte Betrachtungsrichtung (22) im vor- 
a us bestimmt wird. 

18. Verfahren gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass die benannte Betrachtungsrichtung unter Beruck- 
sichtigung der Bewegung des Betrachtungspunktes vorausbestimmt wird. 

19. Verfahren gemass dem Anspruch 17, dadurch gekennzeichnet, 
dass die benannte Betrachtungsrichtung unter Berucksichtigung der Be- 
wegung des betrachteten Objekts auf den genannten Bilddaten voraus- 
bestimmt wird. 

20. Verfahren gemass dem Anspruch 17, dadurch gekennzeichnet, 
dass die benannte Betrachtungsrichtung unter Berucksichtigung von mar- 
kierten Bereichen im Bild vorausbestimmt wird. 
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21. Kommunikationsendgerat (8), welches Bilddaten empfangen 
und mit Bildwiedergabemitteln (85) darstellen kann, und welches die 
aktuelle Betrachtungsrichtung (22) des Kommunikationsendgerat-Be- 
nutzers (9) bestimmen kann # dadurch gekennzeichnet, 

5 dass es erste Bilddaten (25) mit einer geringen Auflosung 

durch einen ersten Obertragungskanal (4) empfangen kann f 

dass es zweite Bilddaten (21 , 24), die dem vom Benutzer 
aktuell und/oder kunftig betrachteten Bildbereich entsprechen, mit einer 
hoheren Auflosung durch einen zweiten Obertragungskanal (7) empfangen 

10 kann, 

dass es die benannte Betrachtungsrichtung (22) durch einen 
Ruckkanal senden kann, 

und dass es erste und zweite Bilddaten uberlagern und gleich- 
zeitig wiedergeben kann. 

15 22. Kommunikationsendgerat gemass dem vorhergehenden An- 

spruch, dadurch gekennzeichnet, dass die benannten Bilddaten von den 
benannten Bildwiedergabemitteln (85) auf die Retina des benannten Be- 
nutzers (9) projektiert werden. 

23. Kommunikationsendgerat gemass dem vorhergehenden An- 
20 spruch, dadurch gekennzeichnet, dass das benannte Bildwiedergabemittel 

(85) eine Virtuelle Retinale Anzeigevorrichtung ist, welche den benannten 
Bilddaten entsprechende Bildsignale auf die Retina des benannten Be- 
nutzers projektiert. 

24. Kommunikationsendgerat gemass einem der Anspruche 21 bis 
25 23, dadurch gekennzeichnet, dass die benannten Bildwiedergabemittel (85) 

in einer anderen Einheit als das Empfangsteil (80, 83) des benannten 
Kommunikationsendgerats (8) integriert ist. 

25. Kommunikationsendgerat gemass dem vorhergehenden An- 
spruch, dadurch gekennzeichnet, dass die benannten Einheiten durch eine 

30 kontaktlose Schnittstelle im Nahbereich verbunden sind. 
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26. Kommunikationsendgerat gemass dem Anspruch 22, dadurch 
gekennzeichnet, dass der benannte aktuell betrachtete Bildbereich dem 
Bildbereich, der auf die Fovea der genannten Retina projektiert werden 
soil, entspricht. 

5 27. Kommunikationsendgerat gemass dem vorhergehenden 

Anspruch, dadurch gekennzeichnet, dass die Grosse des benannten aktuell 
betrachteten Bildbereiches (21) angepasst werden kann. 

28. Kommunikationsendgerat gemass einem der Anspruche 21 bis 
27, dadurch gekennzeichnet, dass es einen ersten Empfanger (80) fur im 

10 Broadcast-Modus durch den benannten ersten Ubertragungskanal (4) 
ubertragene Bilddaten umfasst. 

29. Kommunikationsendgerat gemass dem vorhergehenden 
Anspruch, dadurch gekennzeichnet, dass der benannte erste Empfanger 
(80) ein Funkempfanger ist. 

15 30. Kommunikationsendgerat gemass dem vorhergehenden 

Anspruch, dadurch gekennzeichnet, dass der benannte erste Empfanger 
(80) ein DVB-Funkempfanger ist. 

31 . Kommunikationsendgerat gemass dem Anspruch 28, dadurch 
gekennzeichnet, dass der benannte erste Empfanger einen Datentrager- 

20 Leser umfasst. 

32. Kommunikationsendgerat gemass einem der Anspruche 21 bis 
31, dadurch gekennzeichnet, dass es einen zweiten Empfanger (83) fur 
durch den benannten zweiten Ubertragungskanal (7) ubertragene Bild- 
daten umfasst. 

25 33. Kommunikationsendgerat gemass dem vorhergehenden An- 

spruch, dadurch gekennzeichnet, dass der benannte zweite Empfanger (83) 
ein Sender-Empfanger ist, der die benannte Betrachtungsrichtung (22) 
durch den benannten Ruckkanal (7) senden kann. 
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34. Kommunikationsendgerat gemass dem vorhergehenden 
Anspruch, dadurch gekennzeichnet, dass der benannte zweite Empfanger 
(83) ein Mobilfunkendgerat ist. 

35. Kommunikationsendgerat gemass einem der Anspruche 21 bis 
34 f dadurch gekennzeichnet, dass es die benannte Betrachtungsrichtung (x, 
y) in Echtzeit durch den benannten zweiten Ubertragungskanal (7) zur Aus- 
sendevorrichtung (1) sendet. 

36. Kommunikationsendgerat gemass einem der Anspruche 21 bis 
35 # dadurch gekennzeichnet, dass es einen Cache-Speicher (84) fur die be- 
nannten zweiten Bilddaten (21 , 24) umfasst. 

37. Kommunikationsendgerat gemass dem vorhergehenden An- 
spruch, dadurch gekennzeichnet, dass der benannte Cache-Speicher (84) 
Bilddaten die einem grosseren Bereich (21+24) als dem benannten aktuell 
betrachteten Bildbereich (21) entsprechen, und dass die Bilddaten, die aus 
dem benannten Cache-Speicher extrahiert werden, von der benannten 
aktuellen Betrachtungsrichtung (x, y) abhangig sind. 

38. Kommunikationsendgerat gemass einem der Anspruche 36 bis 
37, dadurch gekennzeichnet, dass es ausserdem einen ersten Cache-Spei- 
cher (81) fur die benannten ersten Bilddaten (25) umfasst, 

und dass die Daten aus dem benannten ersten und aus dem 
benannten zweiten Cache-Speicher synchron extrahiert werden. 

39. Aussendevorrichtung, dadurch gekennzeichnet, dass sie fol- 
gende Komponenten umfasst: 

einen Empfanger, um Daten, die die uber einen Ruckkanal 
ubertragene Betrachtungsrichtung (22) von mindestens einem Benutzer (9) 
enthalten, zu empfangen, 

ein erstes Kodierungsmodul (3), um erste Bilddaten (25) mit 
einer geringen Auflosung zu komprimieren und durch einen ersten Uber- 
tragungskanal (4) im Broadcast-Modus zu senden, 

ein zweites Kodierungsmodul (5), um zweite Bilddaten (21, 
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24), die den vom benannten mindestens einen Benutzer aktuell oder 
kunftig betrachteten Bildbereichen entsprechen, mit einer hoheren Auf- 
losung zu komprimieren und durch einen zweiten Ubertragungskanal (7) 
zu ubertragen. 

5 40, Vorrichtung gemass dem vorhergehenden Anspruch, dadurch 

gekennzeichnet, dass der benannte betrachtete Bildbereich (21) der Bild- 
bereich ist, der auf die Fovea der genannten Retina projektiert werden soli. 

41. Vorrichtung gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass die Grosse des benannten betrachteten Bildbereiches 

10 (21) angepasst werden kann. 

42. Vorrichtung gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass die Grosse des benannten betrachteten Bildbereiches 
(21) an die Bandbreite des benannten zweiten Obertragungskanals (7) 
angepasst werden kann. 

15 43. Vorrichtung gemass einem der Anspruche 39 bis 42, dadurch 

gekennzeichnet, dass die benannten ersten Bilddaten (25) im Broadcast- 
Modus durch den benannten ersten Ubertragungskanal (4) ubertragen 
werden. 

44. Vorrichtung gemass einem der Anspruche 39 bis 43, dadurch 
20 gekennzeichnet, dass Tondaten durch den benannten ersten Ubertragungs- 
kanal (4) simultan zu den benannten ersten Bilddaten (25) ubertragen 
werden. 

45. Vorrichtung gemass einem der Anspruche 39 bis 44, dadurch 
gekennzeichnet, dass der benannte zweite Ubertragungskanal (7) bi- 

25 direktional ist und dass der benannte Ruckkanal der Ruckkanal dieses 
zweiten Obertragungskanals (7) ist. 
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46. Vorrichtung gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass der benannte zweite Obertragungskanal (7) ein 
offentliches geschaltetes Telefonnetz umfasst. 

47. Vorrichtung gemass dem vorhergehenden Anspruch, dadurch 
gekennzeichnet, dass das benannte Telefonnetz ein Mobilfunknetz ist. 

48. Vorrichtung gemass einem der Anspruche 39 bis 47 # dadurch 
gekennzeichnet, dass ein Verrechnungszentrum (6) vorgesehen ist, um dem 
Benutzer (9) die Darstellung der Bilder zu verrechnen. 

49. Vorrichtung gemass einem der Anspruche 39 bis 48, dadurch 
gekennzeichnet, dass sie ein Segmentierungsmodul (2) umfasst, um die 
Bildbereiche (21, 24, 25) die an das benannte erste beziehungsweise zweite 
Kodierungsmodul geleitet werden sollen zu bestimmen. 

50. Vorrichtung gemass einem der Anspruche 39 bis 49 # dadurch 
gekennzeichnet, dass das benannte zweite Kodierungsmodul (5) Bilddaten, 
die mindestens einem Bildbereich entsprechen, der aktuell oder kunftig 
gleichzeitig von einer Vielzahl von Benutzern betrachtet wird # auf einmal 
kodiert und an die benannte Vielzahl von Benutzern sendet. 

51 „ Vorrichtung gemass einem der Anspruche 39 bis 50, dadurch 
gekennzeichnet, dass die benannte Betrachtungsrichtung im voraus be- 
st immt wird. 

52. Vorrichtung gemass einem der Anspruche 39 bis 51, dadurch 
gekennzeichnet, dass die benannte Betrachtungsrichtung unter Beruck- 
sichtigung der Bewegung des Betrachtungspunktes vorausbestimmt wird. 

53. Vorrichtung gemass einem der Anspruche 39 bis 52, dadurch 
gekennzeichnet, dass die benannte Betrachtungsrichtung unter Beruck- 
sichtigung der Bewegung des betrachteten Objekts auf den genannten 
Bilddaten vorausbestimmt wird. 
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54. Vorrichtung gemass einem der Anspruche 39 bis 53 f dadurch 
gekennzeichnet, dass die benannte Betrachtungsrichtung unter Beruck- 
sichtigung von markierten Bereichen im Bild vorausbestimmt wird. 
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